【MediaPipe】テスト動画で検出性能を確かめてみた
カフェチームの山本です。
前回は、MediaPipeを動かすために、Windowsで環境構築し、Multi Hand Trackingを動かしました。
今回は、Multi Hand Trackingの大まかな性能を知るために、いくつかの動画を入力して検出結果を見ていきます。今回使用した動画は、以下の２種類です。
- 自宅で撮影した動画
- 映っている人数：１人
- フレームレート：20fps
- 解像度：1280*720・1920*1080（２種類）
- Developers IO Cafeで確認用に記録されていた動画
- 映っている人数：２人
- フレームレート：2fps
- 解像度：640*480
結論として、以下のことがわかりました。
- 自宅で撮影した動画では、ほぼ検出できた
- カフェの記録映像では、ほとんど検出できなかった
MediaPipeに関連する記事はこちらにまとめてあります。
実行方法・確認方法
前回の記事に記載の通り、MediaPipeのMulti Hand Trackingに動画を入力することで、検出を実行します。
確認は目視で行いました。
検出結果
自宅で撮影した動画
全動画はこちら（YouTube 再生リスト）にまとめてあります。
複数の手を検出できることがわかりました。また、Hand Tracking（Single Hand）のときと同じく、手の形を変えたり、早く動かしたりしても、追跡してる様子がわかります。
カフェで記録されていた動画
全動画はこちら（YouTube 再生リスト）にまとめてあります。
動画はいくつかの角度から撮影されているものでしたが、どれに対してもほとんど検出できませんでした。また誤検出も多かったです。原因としては、解像度が低い、フレームレートが低い、明るさ（露出補正）が適していないといったことが考えられます。
まとめ
今回の結果から、条件によって検出性能が大きく変わる（落ちる）ことがわかりました。今後、どのような条件であれば検出できるのか詳しく調べていきます。
次↓
